语言模型何时该弃权：策略学习与校准答案选择
🧭 LLM 弃权策略与答案选择校准
CICATA Qro., Instituto Politécnico Nacional, México · Facultad de Informática, Universidad Autónoma de Querétaro, México
在 Qwen3-14B 事实问答上，独立答案选择器比模型置信度过滤显著提升效用，但跨数据集可靠弃权仍未解决
📌 工作参考价值（4 点）
- 在业务中若想让 LLM 客服/导购助手“不确定时闭嘴”，可以优先训练一个独立的答案选择器（用模型置信度、问题难度等特征），而不是直接微调生成策略；论文显示选择器比直接对模型概率做阈值过滤更稳定。
- 奖励设计要显式惩罚错误答案，避免只用正确率：若错误和弃权得分相同，模型会倾向乱猜；引入较大错误惩罚能改变弃权行为。
- 上线前务必在目标分布上重新校准：论文中 TriviaQA 有效的方法在 NQ-Open 上仍低于“全部弃权”，说明弃权策略跨数据域泛化差，不能拿一个公开基准的阈值直接用于电商/广告流量。
- 对推荐/生成式场景，可以为每个生成结果同时输出 confidence 或单独跑一个弃权打分器，只展示高于阈值的推荐理由、商品知识回答，降低事实错误带来的负面影响。
多跳检索可预测失效：分数分布置信度评分与弃权
🧭 RAG 多跳检索 · 置信度评分与弃权 ★ 深度解读
提出基于检索分数分布特征的轻量级置信度评分RCS，实现多跳RAG的校准弃权，降低高置信错误率
📌 工作参考价值（4 点）
- 利用检索分数分布特征（top-k最大分数、margin、lift、top3均值、熵）构建零额外LLM推理的置信度评分RCS，可在电商搜索/推荐召回后实时判断结果可信度（<1ms），对低置信query触发精排兜底或人工介入，避免高置信错误。
- 定义CWAR并采用弃权策略：在覆盖率-准确率曲线上根据业务目标选择阈值，可在规定错误率下最大化自动回答覆盖率，适合电商导购Agent中控制高成本错误。
- 特征互补性结论：不同领域的数据集中主导置信度特征不同（如query长度 vs hop-1分数集中度），提示我们不要依赖单一检索分数阈值，应使用多特征逻辑回归融合，增强跨场景稳健性。
- 跨域迁移性：该置信度模型跨数据集迁移仅损失0.5pp AUC，说明这些结构性特征领域无关，电商多品类场景可通过少量标注数据训练得到通用置信度模型，降低标注成本。
拒绝、分解、刷新：面向闭环 AI 评估的主张安全协议
🧭 AI 评估协议 · 主张安全
Blossom AI
提出由 Refuse、Decompose、Refresh 构成的评估协议，将结论限定在有观测支持的范围内，并在闭环模拟器中实证
📌 工作参考价值（4 点）
- 把评估流程从单一 PASS/FAIL 改为三阶段：先判断参考流/匹配比较是否有足够支持，再按组件和流量段分解报告，最后对漂移告警先重算参考而非直接报障；适合推荐系统 A/B 实验与离线评估，避免整体指标提升掩盖不可观测组件失败。
- 对闭环推荐/Agent 系统，策略决定曝光和状态访问，许多失败不会留下可测痕迹；建议记录未覆盖组件与弃权单元，将“未观测”显式作为结果一部分，而不是当作“无故障”。可采用预注册保留集与 aggregate-only 监控，降低选择性报告风险。
- 零故障场景用精确二项上限报告不确定性（如 0/20 时单边 95% 上限 0.1391），在安全/风控相关评估中展示 CI 而非点估计，避免过度自信。
- 漂移告警处理可迁移：当线上特征分布或请求类型变化时，先让参考基线失效并重算，而不是直接判定模型故障，减少电商大促等非平稳时期的误报。
置信源于经验：LLM 与 Agent 的体验式置信度估计
🧭 经验驱动 LLM 置信度校准 ★ 深度解读
University of Cambridge · Google DeepMind
用模型自己的历史验证样本构建经验库，检索相似任务与置信度，校准 LLM 输出置信度，以 1/10 成本匹敌 10 次采样一致性
📌 工作参考价值（4 点）
- 在 LLM 生成商品标题/广告文案/搜索改写等任务中，收集每次生成时的模型自评、置信度和最终效果（点击、转化或人工审核），构建经验库；上线时检索相似任务与相似置信度的历史，看实际成功率，用于决定自动发布还是人工审核。
- 用 task embedding + 模型自报置信度作为检索键，代替仅靠语义相似度；用历史结果标签微调度量空间（如重加权）可以让检索到“失败原因相似”的案例，而不仅是主题相似。
- 反思阶段把历史失败教训读给模型，让模型先说出自己的 recurring failure mode 再重估置信度，比单纯让其内省更校准；最终将统计成功率与反思置信度做 0.5/0.5 等权平均。
- 经验库需要独立于模型自身判断的结果标签（如用户反馈、人工审核、真实转化），不能用模型自己判断的 label，否则会在模型自信但错误的地方失效；且 lesson 要隔离，避免后见之明。
大语言模型中语言置信度与内部置信度的分歧
🧭 LLM 置信度评估与校准
Dartmouth College · Oakland University
系统评估 30 个 LLM 的语言置信度与内部置信度在分类/生成任务上的关联、量级和校准分歧
📌 工作参考价值（4 点）
- 在电商/Agent 流程中若使用 LLM 自报置信度做拒答、路由或加权，不要默认其与内部概率一致；先做多轴诊断：实例级 Spearman/关联、平均置信度差异、ECE/校准曲线。尤其指令调优模型可能高报置信度且校准更差。
- 如果只能拿到语言置信度，优先用“分数示例”prompt 且避免置信度值塌缩（如全 5 分或全高），这样能保留一定 rank-order 信息用于排序/过滤；纯态度引导（“请更谨慎”）只会抬高/降低数值，不改善与真实质量的 alignment。
- 在生成式推荐或文案生成场景，可以用 semantic entropy 或多次采样一致性作为内部不确定性替代语言置信度；若不能用 logits，可让模型输出 1-5 分而非自然语言模糊词，并做分布检查。
- 工程上按 task difficulty/基座能力分层：简单样本或强 base 模型的置信度更有参考价值；复杂长尾商品/query 不要依赖语言置信度做硬过滤。
校准后标签条件单调投影的可靠性重排序
🧭 后校准可靠性重排 · 标签条件单调投影 ★ 深度解读
UNIST · LinqAlpha
用标签条件单调函数将校准置信度映射为正确性可靠性，不改原始预测，改善搜索/推荐系统的 fallback 路由和选择性预测
📌 工作参考价值（4 点）
- 搜索/电商相关性预测的 fallback 路由：校准后的置信度仍然隐藏标签条件的可靠性差异，可用标签独立单调函数重排预测风险，在预算有限时提高自动采纳的准确率。
- 不改模型只改下游使用方式：MRP 不修改原始预测和类概率，仅附加一个可靠性分数，适合已有校准管线的在线系统无侵入式升级。
- 单调点阵实现：采用 logit 域单调增量参数化，保证置信度越高可靠性越高的直觉，工程上简单、可解释、训练稳定。
- 消融实验结论：增益主要来自标签条件残差信号，而非全局置信度再映射，意味着可以在每个决策标签上单独建模可靠性曲线，而不是重新校准置信度。
操作子一致性：一种用于LLM组合推理故障的无标签信号
🧭 LLM组合推理一致性评估 ★ 深度解读
Incubilate · University of Cambridge · Allen Institute for Artificial Intelligence
提出操作子一致性(OC)作为无标签信号，检测LLM直接回答与分解重组回答的不一致，跨模型准确率高度相关且互补于采样基线的选择性预测
📌 工作参考价值（4 点）
- 在Agent多步推理中，增加操作子一致性检查：若模型对同一问题的直接回答与按自身分解步骤组合后的回答不一致，则标记为不可信，用于选择性预测或触发人工复核
- 对于电商场景中需要组合多个子查询的任务（如“查找符合条件A且B的商品”），可将复杂查询分解为子查询，分别获取结果后重组，对比直接查询结果，利用OC分数作为置信度特征输入到重排序或路由模块
- 该信号本身无需标签，只需3次推理调用，可与现有的采样多样性信号（如自洽性、语义熵）简单融合，通过逻辑回归等轻量校准器提升整体信心估计，适合生产环境中低成本实施
- 在生成式推荐中，可以利用操作子一致性验证多跳推理的中间步骤，例如验证推荐解释链的逻辑连贯性，作为事实一致性检查的补充